Năm 1978 Löw bắt đầu sự nghiệp cầu thủ chuyên nghiệp khi là thành viên của đội bóng hạng hai Đức SC Freiburg. Ông đã từng quay trở lại câu lạc bộ hai lần vào các mùa giải 1982 và 1985. Năm 1980 Löw gia nhập câu lạc bộ VfB Stuttgart và tham dự Fußball-Bundesliga, nhưng ông đã không chứng tỏ được bản thân và chỉ chơi cho câu lạc bộ có bốn trận đấu. Mùa giải 1981-82 Löw chuyển sang đội Eintracht Frankfurt (với 24 trận, 5 bàn thắng), nhưng sau đó 1 năm ông trở lại câu lạc bộ Freiburg. Mùa giải 1982-83 ông ghi được 8 bàn trong 34 trận tham dự, 1983-84 ông ghi được 17 bàn thắng trong 31 trận của giải 2. Fußball-Bundesliga. Sau đó ông trở lại với giải Bundesliga khi đến câu lạc bộ Karlsruher SC, nhưng một lần nữa ông lại không thành công khi chỉ ghi được 2 bàn trong 24 trận đấu. Sau đấy, ông lại trở lại Freiburg trong vòng 4 năm (116 trận, 38 bàn). Löw kết thúc sự nghiệp cầu thủ ở Thụy Sĩ, nơi ông đã chơi cho FC Schaffhausen (1989–1992) và FC Winterthur (1992–1994).

Löw đã bốn lần chơi cho đội tuyển bóng đá U-21 quốc gia Đức.